大规模预训练的快速开发导致基础模型可以充当各种下游任务和领域的有效提取器。在此激励的情况下，我们研究了预训练的视觉模型的功效，作为下游持续学习（CL）场景的基础。我们的目标是双重的。首先，我们想了解RAW-DATA空间中CL和预训练编码器的潜在空间之间CL之间的计算准确性权衡。其次，我们研究编码器的特征，训练算法和数据以及所得的潜在空间如何影响CL性能。为此，我们将各种预训练的模型在大规模基准测试方案中的功效与在潜在和原始数据空间中应用的香草重播设置的功效。值得注意的是，这项研究表明了转移，遗忘，任务相似性和学习如何取决于输入数据特征，而不一定取决于CL算法。首先，我们表明，在某些情况下，通过可忽略的计算中的非参数分类器可以很容易地实现合理的CL性能。然后，我们展示模型如何在更广泛的数据上进行预训练，从而为各种重播大小提供更好的性能。我们以这些表示形式的代表性相似性和传递属性来解释这一点。最后，与训练域相比，我们显示了自我监督预训练对下游域的有效性。我们指出并验证了几个研究方向，这些方向可以进一步提高潜在CL的功效，包括表示结合。本研究中使用的各种数据集可以用作进一步CL研究的计算效率游乐场。该代码库可在https://github.com/oleksost/latent_cl下获得。
translated by 谷歌翻译
持续学习（CL，有时也称为增量学习）是机器学习的一种味道，在该口味中，通常会放松或省略固定数据分布的通常假设。当天然应用时，例如CL问题中的DNNS时，数据分布的变化会导致所谓的灾难性遗忘（CF）效应：突然丧失了先前的知识。尽管近年来已经为启用CL做出了许多重大贡献，但大多数作品都解决了受监督的（分类）问题。本文回顾了在其他环境中研究CL的文献，例如通过减少监督，完全无监督的学习和强化学习的学习。除了提出一个简单的模式用于分类CL方法W.R.T.他们的自主权和监督水平，我们讨论了与每种设置相关的具体挑战以及对CL领域的潜在贡献。
translated by 谷歌翻译
已知应用于任务序列的标准梯度下降算法可在深层神经网络中产生灾难性遗忘。当对序列中的新任务进行培训时，该模型会在当前任务上更新其参数，从而忘记过去的知识。本文探讨了我们在有限环境中扩展任务数量的方案。这些方案由与重复数据的长期任务组成。我们表明，在这种情况下，随机梯度下降可以学习，进步并融合到根据现有文献需要持续学习算法的解决方案。换句话说，我们表明该模型在没有特定的记忆机制的情况下执行知识保留和积累。我们提出了一个新的实验框架，即Scole（缩放量表），以研究在潜在无限序列中的知识保留和算法的积累。为了探索此设置，我们对1,000个任务的序列进行了大量实验，以更好地了解这种新的设置家庭。我们还提出了对香草随机梯度下降的轻微修改，以促进这种情况下的持续学习。 SCOLE框架代表了对实用训练环境的良好模拟，并允许长序列研究收敛行为。我们的实验表明，在短方案上以前的结果不能总是推断为更长的场景。
translated by 谷歌翻译
基于变压器体系结构的预处理的嵌入使NLP社区暴风雨。我们表明，它们可以在数学上被重塑为矢量因素的总和，并展示了如何使用此重塑来研究每个组件的影响。我们提供的证据表明，多头的注意力和馈送方面在所有下游应用中均不同样有用，以及对芬太尼对整个嵌入空间的影响的定量概述。这种方法使我们能够与以前的广泛研究建立连接，从矢量空间各向异性到注意力重量。
translated by 谷歌翻译
持续学习领域（CL）寻求开发通过与非静止环境的交互累积随时间累积知识和技能的算法。在实践中，存在一种夸张的评估程序和算法解决方案（方法），每个潜在的潜在不相交的假设集。这种品种使得在CL困难中进行了衡量进展。我们提出了一种设置的分类，其中每个设置被描述为一组假设。从这个视图中出现了一棵树形的层次结构，更多的一般环境成为具有更严格假设的人的父母。这使得可以使用继承来共享和重用研究，因为开发给定设置的方法也使其直接适用于其任何孩子。我们将此想法实例化为名为SequoIa的公开软件框架，其特征来自持续监督学习（CSL）和持续加强学习（CRL）域的各种环境。除了来自外部图书馆的更专业的方法之外，SemoIa还包括一种易于延伸和定制的不断增长的方法。我们希望这一新的范式及其第一个实施可以帮助统一和加速CL的研究。您可以通过访问github.com/lebrice/squia来帮助我们长大树。
translated by 谷歌翻译
我们研究深度神经网络中不同的输出层如何学习并忘记在持续的学习环境中。以下三个因素可能会影响输出层中的灾难性忘记：（1）权重修改，（2）干扰和（3）投影漂移。在本文中，我们的目标是提供更多关于如何改变输出层可以解决（1）和（2）的洞察。在几个连续学习情景中提出并评估了这些问题的一些潜在解决方案。我们表明，最佳执行类型的输出层取决于数据分布漂移和/或可用数据量。特别地，在某些情况下，在某些情况下，标准线性层将失败，结果改变参数化是足够的，以便实现显着更好的性能，从而引入持续学习算法，而是使用标准SGD训练模型。我们的分析和结果在连续学习场景中输出层动态的阐明，并表明了一种选择给定场景的最佳输出层的方法。
translated by 谷歌翻译
经典的机器学习算法通常假设绘制数据是i.i.d的。来自固定概率分布。最近，持续学习成为机器学习的快速增长领域，在该领域中，该假设放松，即数据分布是非平稳的，并且随着时间的推移而变化。本文通过上下文变量$ c $表示数据分布的状态。 $ c $的漂移导致数据分布漂移。上下文漂移可能会改变目标分布，输入分布或两者兼而有之。此外，分布漂移可能是突然的或逐渐的。在持续学习中，环境漂移可能会干扰学习过程并擦除以前学习的知识。因此，持续学习算法必须包括处理此类漂移的专业机制。在本文中，我们旨在识别和分类不同类型的上下文漂移和潜在的假设，以更好地表征各种持续学习的场景。此外，我们建议使用分布漂移框架来提供对连续学习领域常用的几个术语的更精确的定义。
translated by 谷歌翻译